Контексты употребления собраны по предложениям длиной от 4 до 6 токенов (включая финальный терминатор, если он есть). Затем получаем средний вектор фразы по w2v векторам слов, исключая само ключевое слово, и скармливаем все это в k-means ( Read more... )

Появилась идея, как получать много, очень много негативных примеров перефразировок для siamese network. причем с минимумом ручной работы или модерации.

Для этого берем результаты обработки текстов моим синтаксическим парсером. Много мегабайтов текстов, и много гигабайтов результатов в XML.
Обрабатываем их в C# программе (исходнички на гитхабе), ( Read more... )

Продолжаем тему http://kelijah.livejournal.com/169218.html.
Сделал вариант модели word2vector на лемматизированном корпусе. Лемматизацию взял из результатов частеречной разметки. Лемматизировны только существительные, прилагательные, глаголы и наречия (компаративы приведены к нормальной форме).
В материалах по "семантической близости" http://www. ( Read more... )

Продолжаем http://kelijah.livejournal.com/168306.html.

Результаты для выбора из трех смыслов:
( Результаты снятия полисемии на основе word2vector и TF-IDF... )

Продолжая http://kelijah.livejournal.com/167972.html.
В word2vector модели при генерации поставил cbow=0 и слелал размер окна 10.
Плюс изменил порядок сравнения близости контекстов.
Итог - неточность снятия омонимии и определения нужного смысла для многозначных слов упала в 3 раза, до ~8%:
( Листинг тестового прогона для tf-idf и word2vector алгоритмов... )

Сравниваем два алгоритма для word-sense disambiguation (продолжение http://kelijah.livejournal.com/167784.html) Оба сводятся к вычислению cosine similarity, хотя строят векторы документов и предложений по-разному.
Расчет tf-tdf делался с лемматизацией. Стратегическая задумка - сделать еще и глубокую нормализацию, с приведением к "лучшему общему ( Read more... )

Для векторов длиной 50.
В качестве обучающего взят 6Гб корпус (utf-8).
Омонимия и полисемия:
( Read more... )